Nel catasto teresiano si ritrova una mappa della fine del XVIII secolo in cui il palazzo risultava suddiviso in due parti. La prima, che racchiudeva anche il torrione ancora oggi visibile, e che è caratterizzato dalla fronte più lunga; la seconda era quella che partiva dalla torre dell'orologio, naturalmente con la fronte più corta. Probabilmente il palazzo dei marchesi non aveva la stessa estensione dell'attuale palazzo Acerbi, e che la parte appoggiata alla torre fosse la sede degli uffici del Vicario, che sembravano essere collegati ( ma ancora non si è rilevata una prova al riguardo) con la sala per le torture al pian terreno della torre. L'edificio sembra esser sorto sui resti della Casa del Comune, difesa un tempo dalle antiche mura. Con Aloisio vengono effettuati i lavori necessari a renderlo adatto a essere la residenza dei Gonzaga, grazie agli accorgimenti da lui osservati durante le campagne militari. I modiglioni, le caditoie e le finestre a monofora ( poi chiuse e sostituite con quelle che noi oggi ammiriamo), come anche la loggia, richiamano lo stile rinascimentale. I merloni e le bombardiere vengono in un secondo tempo sostituite alla merlatura originale. Purtroppo agli atti non si rileva il nome di nessun architetto. Sempre grazie all'intervento di Aloisio viene realizzato un giardino annesso al palazzo. Il figlio Alfonso arricchisce il palazzo con arazzi, damaschi e camini in pietra viva commissionati ad un artigiano veronese. All'interno è presente una loggia che poggia su un colonnato in marmo. Per accedere al piano nobile si utilizza una scala dalla volta affrescata. Riguardo all'esterno, si deve al marchese Aloisio Gonzaga la decorazione con il fregio ad intreccio di amorini e la scritta posta sotto al cornicione "Fortitudo mea, amor populi, potentorum reverentiam". Alune tracce di dipinto si possono ammirare ancora oggi. Presenti nel palazzo alcuni reperti egizi, portati dal proprietario; gran parte della collezione è conservata a palazzo Te a Mantova.